DepthKV: Poda de caché KV dependiente de la capa para inferencia de LLM de contexto largo
DepthKV reduce el uso de memoria en LLMs de contexto largo mediante poda por capas del caché KV. Optimiza eficiencia sin perder precisión.
#contexto largo
DepthKV: Poda de Caché KV Dependiente de la Capa para Inferencia de LLM de Contexto Largo
Poda de caché KV por capas para optimizar la inferencia de LLMs con contexto largo. Mejora eficiencia y reduce uso de memoria.
Equilibrio disperso: entrenamiento de contexto largo equilibrado de carga con atención dispersa dinámica
Entrenamiento de contexto largo con atención dinámica para mejorar la concentración y memoria.